Hoắc Thành Quân nguyên quán ở huyện Bình Dương, quận Hà Đông (nay là địa phận thành phố Lâm Phần, tỉnh Sơn Tây), là con gái của Tư Mã Đại tướng quân, Bác Lục Tuyên Thành hầu Hoắc Quang. Mẹ bà tên Hiển (顯), không rõ họ, đương thời hay gọi Hoắc Hiển (霍顯).

Thời đó, Hoắc Quang là một phụ chính quyền khuynh thiên hạ. Hoắc Thành Quân lớn lên trong một gia tộc có quyền lực chính trị tột đỉnh. Sự giàu sang và hiển hách của họ Hoắc không thua kém gì hoàng thất, do vậy Hoắc Thành Quân có thói quen ban thưởng hậu hĩnh cho người hầu. Bà có một chị gái là Kính phu nhân Hoắc thị, gả cho Thượng Quan An (上官安), sinh ra Thượng Quan Hoàng hậu của Hán Chiêu Đế Lưu Phất lăng. Xét vai vế gia tộc, Thượng Quan hậu là cháu gọi Hoắc Thành Quân bằng dì mẫu.